标签：LLaMA 1

辨析 RoPE 中“向量携带绝对相位”和“注意力分数只依赖相对位移”两个看似矛盾的结论。

修正并扩展 ROPE.ipynb 的实验，用位置核曲线、平移不变测试和距离分桶统计理解 RoPE 的振荡与远程衰减倾向。

从多频率余弦和解释 RoPE 的远程衰减倾向，区分振荡、衰减包络与长度外推，并理解长上下文扩展的困难。

以课程 ROPE.ipynb 为主线，完成频率预计算、复数旋转、广播与 shape 检查，并验证范数和相对位置性质。

从二维旋转、复数乘法和块对角矩阵三种视角推导 RoPE，证明注意力分数中的位置项只依赖相对距离。

回顾 Transformer 的正弦余弦位置编码，辨析相对位置、外推能力与内容位置耦合问题，并理解 LLaMA 为什么采用 RoPE。

从输入、Decoder Block 到词表输出，理解 LLaMA 1 如何在原始 Transformer 基础上组合 Pre-Norm、RMSNorm、RoPE 与 SwiGLU。

从残差路径出发比较 Pre-Norm 与 Post-Norm，理解两者的公式、梯度传播、训练稳定性和 LLaMA 的选择。

从中心化与尺度归一化出发，推导 RMSNorm 公式、性质和计算流程，并辨析它与 LayerNorm 的真正差异。